scrapy 下载中间件（Downloader Middleware）

发表于 | 分类于 ，
字数统计: 2.7k 字 | 阅读时长 ≈ 12 分钟

项目地址：https://github.com/snjl/python.scrapy.middlewarestest.git

下载器中间件是介于Scrapy的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统。

主要功能

修改request、response，相当于request和response加了一层处理后再给Spiders，例如request发送时使用cookie、代理等，response返回时增加状态码等，还有异常处理，例如无法正常访问时加一个异常处理，增加一个代理后再次请求request，使用代理后就正常访问了。

编写下载器中间件

编写下载器中间件十分简单。每个中间件组件是一个定义了以下一个或多个方法的Python类:

1
class scrapy.downloadermiddlewares.DownloaderMiddleware

process_request(request, spider)

当每个request通过下载中间件时，该方法被调用。

process_request() 必须返回其中之一: 返回 None 、返回一个 Response 对象、返回一个 Request 对象或raise IgnoreRequest 。

  1. 如果其返回 None ，Scrapy将继续处理该request，执行其他的中间件的相应方法，直到合适的下载器处理函数(download handler)被调用， 该request被执行(其response被下载)。（一般返回None，就是已经在request里加了东西，希望它继续处理，继续调用其他中间件的process_request()）

  2. 如果其返回 Response 对象，Scrapy将不会调用 任何 其他的 process_request() 或 process_exception() 方法，或相应地下载函数； 其将返回该response。 已安装的中间件的 process_response() 方法则会在每个response返回时被调用。

  3. 如果其返回 Request 对象，Scrapy则停止调用 process_request方法并重新调度返回的request。当新返回的request被执行后， 相应地中间件链将会根据下载的response被调用。

  4. 如果其raise一个 IgnoreRequest 异常，则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常， 则request的errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常， 则该异常被忽略且不记录(不同于其他异常那样)。

参数:

  • request (Request 对象) – 处理的request
  • spider (Spider 对象) – 该request对应的spider

    process_response(request, response, spider)

process_request() 必须返回以下之一: 返回一个 Response 对象、 返回一个Request 对象或raise一个 IgnoreRequest 异常。

  1. 如果其返回一个 Response (可以与传入的response相同，也可以是全新的对象)， 该response会被在链中的其他中间件的 process_response() 方法处理。

  2. 如果其返回一个 Request 对象，则中间件链停止， 返回的request会被重新调度下载。处理类似于 process_request() 返回request所做的那样。

  3. 如果其抛出一个 IgnoreRequest 异常，则调用request的errback(Request.errback)。 如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。

参数:

  • request (Request 对象) – response所对应的request
  • response (Response 对象) – 被处理的response
  • spider (Spider 对象) – response所对应的spider

process_exception(request, exception, spider)

当下载处理器(download handler)或 process_request() (下载中间件)抛出异常(包括 IgnoreRequest 异常)时， Scrapy调用 process_exception() 。

process_exception() 应该返回以下之一: 返回 None 、 一个 Response 对象、或者一个 Request 对象。

  1. 如果其返回 None ，Scrapy将会继续处理该异常，接着调用已安装的其他中间件的 process_exception() 方法，直到所有中间件都被调用完毕，则调用默认的异常处理。

  2. 如果其返回一个 Response 对象，则已安装的中间件链的 process_response() 方法被调用。Scrapy将不会调用任何其他中间件的 process_exception() 方法。

  3. 如果其返回一个 Request 对象， 则返回的request将会被重新调用下载。这将停止中间件的 process_exception() 方法执行，就如返回一个response的那样。

参数:

  • request (是 Request 对象) – 产生异常的request
  • exception (Exception 对象) – 抛出的异常
  • spider (Spider 对象) – request对应的spider

举例：增加代理中间件

新建项目httpbintest，创建爬虫

1
scrapy genspider httpbin httpbin.org

修改代码：

1
2
3
4
5
6
7
8
9
10
import scrapy


class HttpbinSpider(scrapy.Spider):
    name = 'httpbin'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/get']

    def parse(self, response):
        print(response.text)

这里将start_urls改成了get。
输出后可以看到本机ip地址：

1
2
3
4
5
6
7
···
    "User-Agent": "Scrapy/1.5.0 (+https://scrapy.org)"
  }, 
  "origin": "xxx.xxx.xxx.xxx", 
  "url": "http://httpbin.org/get"
}
···

如果要改变ip，使用代理，需要增加中间件，先简单测试，在middlewares.py中新建类，由于端口开在1080，所以使用localhost的ip的1080端口：

1
2
3
4
5
6
7
class ProxyMiddleware(object):
    logger = logging.getLogger(__name__)

    def process_request(self, request, spider):
        self.logger.debug('Using Proxy')
        request.meta['proxy'] = 'http://127.0.0.1:1080'
        return None

在settings.py中开启配置：

1
2
3
DOWNLOADER_MIDDLEWARES = {
   'httpbintest.middlewares.ProxyMiddleware': 543,
}

再次运行，可以看到地址改变了：

1
2
3
4
5
6
7
···
    "User-Agent": "Scrapy/1.5.0 (+https://scrapy.org)"
  }, 
  "origin": "198.204.238.115", 
  "url": "http://httpbin.org/get"
}
···

这个地址变成了美国的ip。

修改response状态码

在上述基础上，使用process_response(args…)可以对response进行修改，例如：

1
2
3
def process_response(self, request, response, spider):
    response.status = 201
    return response

在爬虫的parse函数中输出response.status，可以看到控制台输出了201。

注意：必须return response，不然实际上会返回None，没有对response进行修改。

使用process_exception对无法访问的网页使用代理（例如google）

例如访问的时候出现异常，例如超时、连接等，能够捕捉异常，然后重新发起请求或者返回一个新的response等方法。

新建一个爬虫

1
scrapy genspider google google.com

google.py代码为：

1
2
3
4
5
6
7
class GoogleSpider(scrapy.Spider):
    name = 'google'
    allowed_domains = ['google.com']
    start_urls = ['http://google.com/']

    def parse(self, response):
        print(response.text)

把settings.py中的ROBOTSTXT_OBEY置为False，不开启下载中间件，运行代码，会报错：

1
2
2019-01-28 23:44:08 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2019-01-28 23:44:12 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET http://google.com/robots.txt> (failed 3 times): TCP connection timed out: 10060: 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。.

给google.py设置一个超时时间：

1
2
3
4
5
6
# google.py

···
    def make_requests_from_url(self, url):
        return scrapy.Request(url=url, meta={'download_timeout': 10}, callback=self.parse)
···

运行后会报出：

1
2
3
4
2019-01-28 23:57:27 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://google.com/> (failed 1 times): User timeout caused connection failure: Getting http://google.com/ took longer than 10 seconds..
2019-01-28 23:57:37 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://google.com/> (failed 2 times): User timeout caused connection failure.
2019-01-28 23:57:47 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET http://google.com/> (failed 3 times): User timeout caused connection failure.
2019-01-28 23:57:57 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET http://google.com/> (failed 3 times): User timeout caused connection failure.

由于启用了默认的Retry中间件，所以会重复请求，可以在settings.py中关闭：

1
2
3
4
DOWNLOADER_MIDDLEWARES = {
    'httpbintest.middlewares.ProxyMiddleware': 543,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': None,
}

这样进行一次尝试后，失败了会直接关闭。

1
2
2019-01-28 23:59:31 [scrapy.dupefilters] DEBUG: Filtered duplicate request: <GET http://google.com/> - no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)
2019-01-28 23:59:31 [scrapy.core.engine] INFO: Closing spider (finished)

定义下载中间件，运行后看看会不会报错：

1
2
3
4
5
6
class ProxyMiddleware(object):
    logger = logging.getLogger(__name__)

    def process_exception(self, request, exception, spider):
        self.logger.debug("Get Exception")
        return request

运行，输出了debug，所以证明经过了process_exception。

1
2
3
2019-01-29 00:05:07 [httpbintest.middlewares] DEBUG: Get Exception
2019-01-29 00:05:07 [scrapy.dupefilters] DEBUG: Filtered duplicate request: <GET http://google.com/> - no more duplicates will be shown (see DUPEFILTER_DEBUG to show all duplicates)
2019-01-29 00:05:07 [scrapy.core.engine] INFO: Closing spider (finished)

在该方法中增加代理：

1
2
3
4
5
6
7
class ProxyMiddleware(object):
    logger = logging.getLogger(__name__)

    def process_exception(self, request, exception, spider):
        self.logger.debug("Get Exception")
        request.meta['proxy'] = 'http://127.0.0.1:1080'
        return request

运行后发现和原来没有差别，是因为在使用make_requests_from_url回调函数的时候，没设置dont_filter，默认为False，会去重，因为google.com访问失败了，所以不会在request的列表里，所以直接去重了，将其置为True即可：

1
2
def make_requests_from_url(self, url):
    return scrapy.Request(url=url, meta={'download_timeout': 10}, callback=self.parse, dont_filter=True)

运行后结果：

1
2
3
4
5
6
7
8
9
10
11
···
2019-01-29 00:09:14 [httpbintest.middlewares] DEBUG: Get Exception
2019-01-29 00:09:14 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET http://www.google.com/> from <GET http://google.com/>
2019-01-29 00:09:15 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.google.com/> (referer: None)
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en"><head><meta content="Search the world's information, including webpages, images, videos and more. Google has many special features to help you find exactly what you're looking for." name="description"><meta content="noodp" name="robots"><meta content="text/html; charset=UTF-8" http-equiv="Content-Type"><meta 
···
···
\x22uhde\x22:false}}';google.pmc=JSON.parse(pmc);})();(function(){var r=['aa','async','ipv6','mu','sf'];google.plm(r);})();</script>       </body></html>
2019-01-29 00:09:15 [scrapy.core.engine] INFO: Closing spider (finished)
···
···

流程就是，正常访问google.con，无法访问，进入下载中间件的process_exception，给request加入proxy后重新发起请求，由于dont_filter=True，所以能够再次发起请求，这次请求由于有代理（如果是别的网站，可能需求不一样，例如cookie，代理，sesson等），可以通过该中间件。

加入一些打印输出日志：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# google.py
import scrapy


class GoogleSpider(scrapy.Spider):
    name = 'google'
    allowed_domains = ['google.com']
    start_urls = ['http://google.com/']

    def make_requests_from_url(self, url):
        self.logger.debug('Try first time')
        return scrapy.Request(url=url, meta={'download_timeout': 10}, callback=self.parse, dont_filter=True)

    def parse(self, response):
        print(response.text)

1
2
3
4
5
6
7
8
9
# middlewares.py
class ProxyMiddleware(object):
    logger = logging.getLogger(__name__)

    def process_exception(self, request, exception, spider):
        self.logger.debug("Get Exception")
        self.logger.debug('Try second time')
        request.meta['proxy'] = 'http://127.0.0.1:1080'
        return request

运行：

1
2
3
4
5
6
7
8
9
···

2019-01-29 00:17:15 [google] DEBUG: Try first time
2019-01-29 00:17:25 [httpbintest.middlewares] DEBUG: Get Exception
2019-01-29 00:17:25 [httpbintest.middlewares] DEBUG: Try second time
2019-01-29 00:17:26 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET http://www.google.com/> from <GET http://google.com/>
2019-01-29 00:17:26 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.google.com/> (referer: None)
<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="en"><head><meta content="Search the world's information, including webpages, images, videos and more. Google has many special features to help you find exactly what you're looking for." name="description"><meta
···

查看系统默认下载中间件的优先级

命令

1
scrapy settings --get=DOWNLOADER_MIDDLEWARES_BASE

示例

1
2
3
4
5
6
7
8
C:\shu_item\httpbintest>scrapy settings --get=DOWNLOADER_MIDDLEWARES_BASE
{"scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware": 100, "scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware": 300, "scrapy.downloaderm
iddlewares.downloadtimeout.DownloadTimeoutMiddleware": 350, "scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware": 400, "scrapy.downloa
dermiddlewares.useragent.UserAgentMiddleware": 500, "scrapy.downloadermiddlewares.retry.RetryMiddleware": 550, "scrapy.downloadermiddlewares.ajaxcrawl.A
jaxCrawlMiddleware": 560, "scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware": 580, "scrapy.downloadermiddlewares.httpcompression.HttpCompress
ionMiddleware": 590, "scrapy.downloadermiddlewares.redirect.RedirectMiddleware": 600, "scrapy.downloadermiddlewares.cookies.CookiesMiddleware": 700, "sc
rapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware": 750, "scrapy.downloadermiddlewares.stats.DownloaderStats": 850, "scrapy.downloadermiddlewares
.httpcache.HttpCacheMiddleware": 900}

数字越小，代表优先级越高，一般自定义的下载中间件优先级为543左右

-------------本文结束 感谢您的阅读-------------